又闲了几天，把前段时间存的几篇去雾的文章读下。

Prior DA for Hazy and Rainy Conditions (ECCV2020)

这篇文章的核心思路是用基于雾和雨的物理模型估计出的先验作为一种像素级别的软标签来替代传统DAOD方法中简单的域标签，从而进行定向域适应目标检测。

具体而言，作者首先提出PEN(prior estimation network)来对估计的先验进行对抗训练，对源域和目标域图像都使用如下方式进行计算：

实际上就是对PEN估计出的像素级预测值和图像对应的先验计算一个Least Weight Loss。这里的先验做的比较简单，对雾图而言，使用DCP估计transmission map；对雨图而言，使用Rain Layer估计residue。

除了PEN以外，作者还提出了一个简单的RFRB(Residual Feature Recovery Block)，首先如图所示使用残差对特征进行增强，而后在RFRB中使用一个回归损失对特征进行最小约束：

作者期望这样的一个结构可以缓解向雾图迁移过程中产生的图像失真（扰动）。

从实验结果来看，提出方法在Cityscapes到Foggy Cityscapes的迁移中结果非常好（39.3），接近CVPR2020的SOTA（39.8），但是在其他作者提出的基准上，和SWDA的结果相差不多，还是有很大的提升空间的。

Cycle-Dehaze (CVPR2020)

这篇文章能中CVPR很难理解啊，就是在CycleGAN基础上对去雾任务做了一些调整，在实验过程中Baseline都是CycleGAN，客观和主观的实验结果都很一般…

这篇文章基本上只有两个Insights：

基于CycleGAN提出了一个用于雾图-无雾图转换的Cycle-Dehaze网络；

提出了一个对高分辨率雾图采样的可行的办法——Laplacian upscaling。

Cycle-Dehaze

Cycle-Dehaze网络如上图，和CycleGAN没有什么不同，相对于简单的Cycle Consistency Loss，作者还加上了Perceptual Loss。

Laplacian upscaling

考虑到NTIRE挑战的数据集图像分辨率都很高，而如今去雾网络参数又很多，因此无法输入原图，只能Crop或者Resize处理。作者的方法是首先使用Bicubic下采样（和SR一致）到256*256，经过模型处理后，使用Laplacian Pyramid进行放大，以最大程度保留边缘信息从而提升SSIM的结果。

Some Techniques (arXiv2018)

第三篇是一群人在2018年发在arXiv上的一篇很简单的总结性文章。这篇文章仅仅研究了两个问题：

• 任务一：什么样的Loss的组合可以最大化去雾网络性能？
• 任务二：去雾对检测而言有什么作用?

任务一：Dehazing as Restoration

针对第一个问题，作者通过不同Loss的组合训练AOD-Net，实验结果证明：

• 对于Indoor环境雾图，原始MSE最佳；
• 对于Outdoor环境图，**MSSSIM+L1或MSSSIM+L2**有最佳的结果

任务二：Dehazing for Detection

针对第二个问题，作者考虑了去雾和检测模型的两种组合：去雾后检测（X+Y）和域适应检测。

去雾和检测级联：Enhancing Dehazing and/or Detection Modules in the Cascade

对于去雾后检测任务，作者测试了不同去雾方法和检测器（在无雾数据集上的模型，未再训练或微调）的组合，结果如下：

其中contrast limited Adaptive histogram equalization (CLAHE)技术被用以增强图片对比度。观察以上结果可知：最优秀的检测器在级联去雾网络后结果不佳，可能是因为检测器的性能越高，对训练集（无雾图像）的过拟合越严重，和雾图的域差异越大。此外，去雾效果越好的模型并不一定会产生越好的检测结果。

域适应检测：Domain-Adaptive Mask-RCNN

作者对Mask-RCNN进行了简单的DA式改进——通过GRL在特征提取器最后一层连接一个域判别器以进行图像级别的特征对齐，最终构造DMask-RCNN。在具体实验中，作者考虑了两个方向的迁移：迁移到雾图和迁移到去雾图（MSCNN去雾）。这两个方向迁移后的模型分别被称为DMask-RCNN1和DMask-RCNN2。

最终结果如上图所示，观察可知：

1. 域适应检测结果远高于去雾和检测级联的结构，说明了其广阔的应用前景；
2. 迁移到去雾域上的检测器的结果总是好于迁移到雾域上的检测器性能，这说明去雾也具备一定意义。作者认为存在这样一个假设：去雾域和无雾域之间的域差异要小于雾域和无雾域之间的域差异；
3. 最好的结果来自于去雾+去雾域适应检测的级联结构，这表明：去雾预处理和域适应检测的共同价值。

但是这里有一个问题。MSCNN是公认的对检测增益最大的去雾模型，在Table4中和Mask-RCNN级联的结果这么高，但在Table3中却没有出现。而且如果MSCNN+Mask-RCNN结果真的这么高，岂不是说明简单的域适应目标检测毫无意义？

总之，作者Table4实验数据值得怀疑，但不得不说，去雾+域适应检测可能有不错的效果，尽管这样级联的结构比较复杂，但作为一个拓展实验会有一定的价值。